Measuring the Gap Between Human and LLM Research Ideas
衡量人类与LLM研究想法之间的差距
🧭 LLM生成式评估与品味分布偏差
Yale University · University of Chicago
通过研究品味分类法，量化LLM生成的研究想法在分布上与人类存在系统性偏差
📌 工作参考价值（4 点）
- 可借鉴其双轴分类法，对推荐系统生成的广告文案、搜索建议或解释性文本进行「机会模式×贡献范式」的分布评估，检验是否过度集中于某些低多样性模式
- 在评估LLM推荐的创意（如推送文案、商品卖点生成）时，可仿照其逆向工程人类偏好分布的方法，构建参照集并度量生成结果与人工创意的品味偏移
- 论文的提示工程思路（从相关论文中提取背景、要求生成新想法）可迁移至多路召回策略的生成：给定用户历史行为序列作为“先前工作”，让LLM生成下一个兴趣点，作为候选召回
- 研究本身主要面向学术创意评估，与电商推荐直接关联较弱，但其中“分布差距”的概念可泛化为推荐结果多样性或探索性的衡量指标